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Abstract of DE 19728890 (A1) 

The invention relates to an image improvement system in accordance with application DE19631414. Said system is 
characterized in that the reflex image in the interior of the eye is scanned on the retina (NH) and, after modification, is 
projected back into the eye by the same path. The invention proposes using an elliptical scan. 
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Beschreibung 

Die Erfindung betrifft eine Brille, mit deren Hilfe iiber 
eine Ruckspiegelung an der Innenseite derselben das Netz- 
hautreflexbild des Auges bei unterschiedlicher Helligkeit 5 
der Umgebung elektronisch aufgenommen, miteinem Com- 
puter modifiziert und iiber eine Beleuchtungseinrichtung 
und eine Riickreflexion iiber die gleiche Brille physioio- 
gisch verzogerungsfrei dem ursprunglichen Bild so uberla- 
gert wird, daB ein vcrbesserter Seheindruck entsteht. 10 

Die Verwendung von optoelektronischen Brillen zur 
Spiegelung von cornputergenerierten Bildern ins Auge mit 
den Namen "cyberspace" oder "virtual reality" nimmt heute 
rasant. zu. Diesc Technik ist sowohl fiir die Anwendung in 
der Unterhaltungsindustrie als auch in den verschiedenen 15 
Gebieten der Industrie, Verkehr und Medizin von breitem 
Nutzen und wird mit der Verfiigbarkeit von immer schnelle- 
ren Bildverarbeitungscomputern an Verbreitung und Bedeu- 
lung standig zunchmen. 

Am weitesten verbreitet ist die Anwendung mit geschlos- 20 
senen, nicht transparenten Brillen, bei der Bilder von minia- 
turisierten Kathodenstrahlrohren oder Fliissigkristall-Matri- 
zen iiber Spiegel- oder Glasfasersysteme dem Auge darge- 
boten werden. Die besondere Attraktivitat dieser Technik ist 
es, mit bewegter dreidimensionaler Bilddarstellung, den 25 
Bildablauf oder die Handlung mit verschiedenen Bewegun- 
gen des Brillentragers zu koppeln. So wird eine Anderung 
der Blickrichtung durch Kopfbewegung oder Anderung der 
Perspective bei fortschreitenderBewegung nachgebildet. Es 
konnen die Bewegungen der Arme und Finger des Brillen- 30 
tragers mit Hilfe von Sensoren in das Bild eingebracht wer- 
den, urn ihm die Moglichkeit des direkten Eingreifen in die 
Handlung zu ermoglichen. 

In neueren Systemen mit dem Namen "augmented rea- 
lity" kann der Brilientrager mit Hilfe teiltransparenter Bril- 35 
len sowohl die Umgebung als auch ein uber die Brille einge- 
spiegeltes Bild von Kameras von der gleiche Szene oder von 
anderen Bildinhalten iiber einen miniaturisierten Monitor 
am Helm betrachten. Eine wohlbekannte Variante dieses 
Verfahrens ist bei der Fuhrung von Kampfflugzeugen mit 40 
dem Namen Helmet-mounted-display (FTMD) bereits einge- 
fuhrt. 

Bei dieser Techniken sind jedoch mehrere Probleme be- 
kannt, die auf die Wirkungsweise des Gesichtsinnes zuriick- 
zufuhren sind und auf verbesserte technische Losungen war- 45 
ten. Bei einer geschlosscncn Brille und eincm starr gekop- 
pelten Monitor und Monitorbild bewegt sich bei einer Kopf- 
bewegung des Brillentragers die Szene in gleicher Richtung 
mit, was seinen Sehgewohnheiten in unnaturiicher Weise 
widerspricht. Er ist durch die Abbildung des Auges ge- 50 
wohnt, daB die Szene gerade in entgcgengesetzter Richtung 
verlauft. Dieses Problem konnte durch die umstandliche 
Messung der Kopfbewegung und des Augapfels mit exter- 
nen Drehwinkelsensoren, einer entsprechenden Bildverar- 
beitung und Nachfuhrung des generierten Bildes bis jetzt 55 
nur unvollkommen gelost werden. 

Durch Anpassungsbewegungen des Augenapfels, die von 
sogenannten vestibularen okularen Reflexen (VOR) des Oh- 
ren-Bogengang-Sy stems ausgehen und dem Fcsthalten des 
Fixationspunktes bei Kopfbewegungen dient, ist das Auge 60 
selbst in der Lage, das Netzhautbild grob zu stabilisieren. 
Die Feineinstellung geschieht mit dem Bild als Referenz. 
Dieses Bild- Tracking wird zusatzlich vorn Auge verwendet, 
um die VORs einer dynamischen Augenausrichtung zu ad- 
aptieren. 65 

Dies bedeutet, daB eine Uberlagerung von Fremdbildern 
erst bei ihrer Ankopplung an das reale Netzhautbild einen 
wirklichkeitsgelrcuen Bildeindruck gcben kann. 
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Bei gcschlossenen Brillen wird versucht das Bild der 
BlutgefaBe (Augenhintergrund) als Referenz zu verwenden 
(Retina- Tracking). Das liefert allerdings nur eine ungenii- 
gende Auflosung und ist ausschlieBlich fiir monokulare Be- 
trachlungen geeignet (siehe z. B. E.Peli, "Visual issues in 
the use of a head-mounted monocular display", Optical En- 
gineering, vol. 29, No. 8, p. 883 (1990), Eine gleichzeitige 
Stabilisierung in beiden Augen von Bildern mit diesen ist 
wegen der unterschiedlichen Ausrichtung der Augen prak- 
tisch unmoglich. Neben der Verschlechterung der Bildquali- 
tat, fuhrt der Konflikt zwischen den vestibularen und visuel- 
len Informationen haufig zu Bewegungsstorungen bis hin 
zur Seekrankheit. Diese Probleme der bestehenden Technik 
werden z. B. in dem Ubersichtsartikel von E. Peli, "Real Vi- 
sion & Virtual Reality" in Optics & Photonics News, July 
1995, S. 28 34 beschrieben. 

Aufgabe der Erfindung ist es, die Probleme der Bildstabi- 
lisierung bei Uberlagerung von Fremdbildern mit dem rea- 
len Bild zu losen. 

Der Erfindung liegt die altere deutsche Patentanmeldung 
19631414 mit der Bezeichnung: "Vorrichtung zur Auf- 
nahme des Netzhautreflexes und Uberlagerung von Zusatz- 
bildem im Auge" zugrunde. In dieser wird eine Vorrichtung 
beschrieben, mit der das Netzhautreflexbild mit Hilfe eines 
konfokal abbildenden, zweiachsigen Scansystems iiber die 
Reflexion der Innenseite einer teiltransparenten und entspre- 
chend gewolbten Brille, seriell mit einem hochempfindli- 
chen Photodetektor aufgenommen wird. 

Darin wird vorgeschlagen, mit Hilfe von Lasern und eines 
Strahlenteilers uber denselben Lichtweg in umgekehrter 
Richtung wie das aufgenommene Bild das verbesserte Bild 
auf die Nelzhaut seriell abzubilden. 

Dariiber hinaus wird auch die Moglichkeit eroffnet, an- 
dere Bilder zusatzlich auf die Netzhaut zu uberlagern. 

Mit dieser Technik sind die vorgenannten Probleme 
grundsatzlich gelost, jedoch wurden konkrete Realisierun- 
gen und Anwendungen nicht angegcbcn. Der Grundgedanke 
der neuen Erfindung dieses Verfahren zur Verbesserung des 
Wahrnehmungsvermogens des Auges einzusetzen. Die phy- 
sikalischtechnischen Probleme, die dazu gelost werden 
miissen, ergeben sich aus den physiologischen Eigenschaf- 
ten des Auges und den standig variierenden Beleuchtungs- 
verhaltnissen in der Umgebung. Das Auge ist wegen der va- 
riablen Lichtverhaltnisse und der unterschiedlichen opti- 
schen Aufgaben in seinen Grundfunktionen ein sehr dyna- 
misches Sinnesorgan. Es adaptiert sich an die Variation der 
Intensitat der Hintergrundbeleuchtung iiber 12 Dekaden. Es 
schaltet vom Farbsehen beim Tageslicht auf reines schwarz/ 
weiB Sehen in der Nacht um. Licht in dem Wellenlangenbe- 
reich 400-1500 nm wird von dem Auge transmittiert und 
auf die Netzhaut abgebildet. Dabei wird nur Licht im Bc- 
reich von 400 nm bis 750 nm wahrgenommen, d. h. das in- 
frarote Licht im Bereich von 750-1500 nm, das sowohl bei 
AuBen- als auch Innenbeleuchtung sehr hell ist, bleibt fur 
die visuelle Wahrnehmung ungenutzt. 

Das Auge erfaBt horizontal und vertikal einen Winkelbe- 
reich von etwa 100°. Die Bildauflosung nimmt jedoch mit 
dem Winkelabstand von der Sehachse sehr schnell ab. Das 
aufmerksarne momentane Sehen ist auf einen zentralen 
Winkelbereich von nur +/- 5° begrenzt und das "scharfe" 
Sehen, z. B. beim Lesen oder Autofahren, ist auf den sehr 
geringen zentralen Winkelbereich von +/- 0,5° begrenzt. 
Hinzu kommen standig verschiedenartige Bewegungen der 
Augen. Dies fuhrt zu folgendcn Konsequenzen, die untcr 
bestimmten Umstanden das Wahrnehmungsvermogen des 
Auges beeintrachtigen und die im Rahmen der neuen Erfin- 
dung verbessert werden sollen: 
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- Adaption 

- Akkommodation 

- Scharfeleistung 

- Sehfehler 

- Altersbedingte Minderleistung und 5 

- Bewegungsdynamik. 

Die Aufgabe der vorliegende Erfindung ist es nun, eine 
Anordnung vorzuschlagen, die ahnlich wie das Auge in ih- 
ren Grundfunktionen schr variabel gestaltet und an die Er- 10 
fordernisse des Sehvorgangs angepaBt ist, aber gleichzeitig 
die besondere Physiologie und Dynamik des Auges und die 
variierenden Beleuchtungsverhaltnisse der Umgebung und 
den unsichtbaren IR-Bcreich beriicksichtigt und ausnutzt. 
Dies laBt sich mil den in der fruheren Erfindungsmeldung 15 
angegebenen Abtast- und Scanvarianten (serieller Rasters- 
can, serieller Spiralscan) nur unzuianglich erreichen. Dies 
betrifft sowohl das Abt.ast.must.er der Bildaufnahme des 
NeLzhauireflcxes als auch die Riickprojcktion des Lascrbil- 
des in das Auge. 20 

Bin grundsatzliches Problem der seriellen gegeniiber der 
parallelen Bildabtastung ist die kurze Verweilzeit des Scan- 
ners in jedem Bildpixel. 

Eine gleichmaBige Abtastung z. B. von 0,5 Mio Bild- 
punkte in einer Abtastzeit von 40 ms bedeutet eine Integra- 25 
tionszeit von nur 0,08 us d. h. 80 ns in jedem Bildpunkt, Im 
Vergleich hierzu betragt die parallele Zeitintegration aller 
Bildpunkte des Auges selbst 10-20 ms. 

Wie aus der Anwendung von Lasern zur Aufnahme der 
Netzhautstruktur des Auges in den sogenannten Laser Scan- 30 
ning Ophthalmoskopen bekannt ist, ist eine Laserleistung 
von elwa 40 uW notwendig, um beim Rasterscan ein Signal- 
Rausch-Verhaltnis von 17 aus einem Bildpixel zu erzielen 
(siehe z. B. A.Plesch, U. Klingbeil, and J. Bille, "Digital la- 
ser scanning fundus camera", Applied Optics, Vol. 26, No 8. 35 
p. 1480-1486 (1987)). Umgerechnet. auf die groBere Flache 
wurde dies einer Bestrahlungsstarke in einem Abbild einer 
ausgedehnten Quelle auf der Netzhaut von 40 W/cm 2 ent- 
sprechen, was der Bestrahlungsstarke von hellen Schein- 
werfern oder Sonne auf der Netzhaut entspricht, d. h. mit 40 
dem Rasterscan konnen erst relativ helle Quellen mit einem 
guten Signal- Rauschverhaltnis auf der Netzhaut aufgezeich- 
net werden. Um die Abbildung von schwacheren Quellen 
auf der Netzhaut zu detektieren, muB die Empfindlichkeit 
wesentlich gesteigert werden. 45 

Die scrielle Bildabtastung hat jedoch fur die Aufnahme 
des Netzhautreflexes den entscheidenden Vorteil der besse- 
ren Unterdruckung von Streulicht, der einfacheren Aufnah- 
meoptik und der Mogiichkeit der exakten Umkehrung des 
Strahlcnganges bei der Bildruckprojcktion mit. einem Laser 50 
und soil aus diesen Grundcn auch in dieser Erfindungsmel- 
dung beibehalten werden. Eine Verlangerung der Verweil- 
zeit kann aber durch Anderung des Scanmusters erreicht 
werden. 

Wegen der ungleichmaBigen Verteilung der Photorezep- 55 
toren, mit der hochsten Dichte der Zapfen fur das scharfe 
Sehen im Zentrum der Netzhaut und dem entgegengesetzten 
Verlauf der Stabchen fur das unscharfe aber lichtempfindli- 
che Nachtsehen, ist der Rasterscan keineswegs das optimale 
Scanmuster. Ein an den Sehvorgang angepaBtes Scanmuster 60 
sollte fur das Tagessehen in Richtung zum Zentrum zuneh- 
mend iangsamer und dichter werden, fur die Anpassung an 
das Nachtsehen gerade umgekehrt. 

AuBer der Verweilzeit kann das aufgenommene Signal 
durch Anderung der FleckgroBe der Abtastung und damit 65 
auch der Bildauflosung beeinfluBt werden. 

Die Anzahl der Signalphotonen N s die von einem abta- 
slenden Aufnahmegerat von der Netzhaut pro Bildpixel auf- 
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genommen werden, kann nach der folgenden Fonnel be- 
rechnet werden: 

N S = (BT AX t)(A 0 R)(S/2ti)(A/D 2 )(1/8) 
wobei 

B = die spektrale Bestrahlungsstarke auf der Netzhaut 

T = die optische Transmission von Netzhaut bis zum Photo- 

detektor 

T = die Integrationszeit in einem Bildpixel auf der Netzhaut 

A 0 = die Flache des Bildpixels 

R = Reflexionsvermogen des Bildpixels 

AX - Spektrale Breite des Empfangssignals 

A p = Pupillenflache 

D = Abstand der Pupille zur Netzhaut 

S/2n = der Winkelverteilungsfaktor der optischen Ruck- 

streuung der Netzhaut 

£ = Energie eines Photons bei der Aufnahmewellenlange 
bczeichnen. 

Wie diese Formel zeigt, konnen starkere Signale, d, h. 
eine groBere Anzahl von Signalphotonen durch folgende 
MaBnahmen am Aufnahmegerat gewonnen werden: 

- Verlangerung der Verweildauer T des Scans in den 
einzelnen Bildpunkten, 

- VergroBerung des Abtastflecks Ao auf der Netzhaut 

- VergroBerung der spektralen Bandbreite AX. 

Die Erfindung schlagt das Abtasten der Netzhaut in einer 
Abfolge von konzentrischen Kreisen vor (Kreismittelpunkt 
ist gleich Fovea centralis), deren Radius sich sukzessive ver- 
groBert bzw. verkleinert. Diese Art des Scannens wird als 
Kreisscan bezeichnet. Wegen der Rotationssymmetrie der 
Augenlinse und der Pupille um die Sehachse und der rotati- 
on ssymmetrischen Verteilung der Photorezeptoren in der 
Netzhaut ist der Kreisscan optimal. 

Die Erfindung schlagt wcitcrhin vor, daB ein identischcr 
Kreisscan fur die Aufnahme des Netzhautreflexes von der 
Umgebung und die Bildprojektion mit dem Laser verwendet 
werden. Da beim Kreisscan von auBen bis zum Zentrum, 
nach dem Erreichen des Zentrums, die Scanachse den glei- 
chen Weg riickwarts verlauft, kann wahlweise die Auf- 
nahme beim Scan bis zum Zentrum und Projektion von Zen- 
trum bis auBen, oder die Aufnahme fiber den gesamten Ab- 
tastvorgang und Projektion erst in einem zweiten verwendet 
werden. 

Bei einer konstanten Auslenkung von Scanspiegeln in 
zwei Richtungen (Lissajou-Figur) erfolgt beim Kreisscan 
zwangslaufig eine Verlangsamung der Verweildauer in 
Richtung zum Zentrum. Die Erfindung siehl jedoch vor, daB 
fur das Tagessehen die Scandauer benachbarter Kreise, je 
nach den Belichtungsverhaltnissen, noch zusatzlich verlang- 
samt und fur das Nachtsehen sogar beschleunigt werden 
kann. 

Aufgrund der ungleichmaBigen Verteilung der Zapfen 
fiber die Netzhaut mit einer um mehr als zwei Dekaden ho- 
heren Dichte im Zentrum kann die Abtastrate (Verweildauer 
pro Bildpunkt) in diesem Bereich um diesen Faktor, 100 er- 
hoht werden. 

Fur das Nachtsehen mit der hoheren Verteilung der Stab- 
chen mit zunehmenden Radius ist es sinnvoll, daB die Ver- 
weildauer entgegengesetzt nach auBen in ahnlichem MaBe 
abnimmt. 

Wie dem Fachmann bekannt, laBt sich ein Kreisscan in 
analoger Ansteuerung mit periodisch schwingenden ortho- 
gonalen Scanspiegeln, oder in digitaler Ansteuerung durch 
Naherung an die Kreisspur mit einer hohen Anzahl von ge- 
raden Strecken. Als drittc Alternative bietet sich die Ver- 
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wendung von prograrnmierbarcn Algorithmen analoger An- 
steuersignale, die digital aufgerufen werden konnen und am 
besten fur diese variablen Verhaltnisse am geeignet sind. 

Damit das Empfangssignal auch durch VergroBerung des 
abget.astel.en Bildflecks, proportional zu seiner Flache, zu- 
satzlich erhoht werden kann, sieht die Erfindung ferner vor, 
daB die momentane BildpixelgroBe auf der Netzhaut zusatz- 
lich zur Scangeschwindigkeit variabel eingestellt werden 
kann. 

Mit der Andcrung der BildfleckgroBc wird auch die Bild- 
auflosung entsprechend der Situation angepaBt. AuBer der 
Veranderung der Abtastflache kann die Auflosung durch va- 
riablen Radiensprung der Scanradien eingestellt werden. 

Mit. einer VergroBerung des abtastendcn Bildpixels von 
z. B. 10 um auf 100 urn wird z. B. die Bildauflosung von 
etwa 2 bis 20 Bogenminuten (Auflosung sbereich des Lesens 
und Betrachtens) um einen Faktor 10 reduziert, gleichzeitig 
wird das empfangene Signal um einen Faktor 100 erhoht. 

Wie dcm Fachmann bekannt, ist bei der konfokalcn Abta- 
sten die Bildauflosung durch den Blendendurchmesser im 
Zwischenfokus vor dem Photodetektor bestimmt und kann 
durch seine Veranderung eingestellt werden. Die Erfindung 
sieht vor, daB hierfiir FlQssigkrislallblenden oder elektro-op- 
tische Blenden verwendet werden, damit diese Einstellung 
moglichst schnell, d. h. innerhalb eines Abtastzyklus, durcb- 
gefiihrt werden kann. 

Da der zeitliche Ablauf des Scannens und die GroBe des 
Bildpixels bei Aufnahme und Projcktion moglichst iden- 
tisch sein sollten, schlagt die Erfindung vor, daB die die An- 
derung des Scanverlaufs und Blendenregelung im Projekti- 
onskanal die gleiche ist wie im Aufnahmekanal. Die Varia- 
tion der optischcn Integrationszeit und Bildpixclflache kann 
dann im Projektionskanal durch entsprechende Variation der 
Sendeleistung des Lasers kompensiert werden. 

Die Hone des Empfangs signals ist weiterhin von der 
spektralen Bandbreite des Empfangers abhangig und kann 
durch ihrc Vcrbreitcrung erhoht werden. Die Erfindung sieht 
vor, daB im Bereich des hellen Tagessehen (photopisches 
Sehen) eine der Augenfarbempfindlichkeit entsprechende 
Aufspaltung des Strahlenganges in die Farbkanale Rot- 
Grun-Blau mit je einer spektralen Breite von etwa 100 nm 
vorgenommen werden kann. Dies ermoglicht eine farbechte 
Bildaufnahme und mit entsprechenden dreifarbigen Lasern 
eine farbliche Zurtickprojektion ins Auge. 

Bei einer schwacher Umgebungsbeleuchtung, bei der 
Farben nicht mehr vom Auge wahrgenommen werden (sco- 
topisches Sehen) sieht die Erfindung die Zusammenlegung 
aller Kanale zu einem einzigen (schwarz/weiB) Empfangs- 
kanal ohne Farbauflosung vor. Weiterhin sieht die Erfindung 
vor, daB dieser Empfangskanal nicht nur den sichtbaren Be- 
reich von 400-700 nm, sondern zusatzlich den nahen infra- 
roten Bereich von 700-1000 umfaBt. 

Dies bringt zur Erhohung des Empfangssignals bei 
schwacher Hintergrundbeleuchtung die folgenden Vorteile: 

- das Auge hat zwischen 400 -1000 nm voile Transpa- 
renz und bildet ein vergleichbares Bild zwischen 
700-1000 nm wie zwischen 400-700 nm ab. 

- der Reflexionsgrad der Netzhaut zwischen 
700-1000 nm betragt R = 10-20% gegenuber R = 
3-5% zwischen 400-700 nm 

- es sind Photoempfanger mit hohem Quantenwir- 
kungsgrad wie Photomultiplier und Silizium-Avalan- 
chedioden iiber den gesamten Spektralbcrcich von 
400 1000 nm verfugbar. 

- Gluhlampen, die zur Innenbeleuchtung von Gebau- 
den, bzw. im Freien zur StraBenbeleuchtung und bei 
Fahrzeugen verwendet werden, slrahlcn zwischen 



700-1000 nm 10 mal mehr Licht ab als zwischen 
400-700 nm. 

- das Reflexionsvermogen der Vegetation der Natur ist 
um einen Faktor 5-10 zwischen 700-1000 nm hoher 
5 als zwischen 400-700 nm. 

Wie diese Beispiele zeigen, ist bei schwacher Beleuch- 
tung (Nachtsehen) eine nochmalige Erhohung des Emp- 
fangssignals um einen Faktor 100 durch Erweiterung des 

to Spcktralbereichcs moglich. 

Die Erweiterung des spektralen Bereiches kann entweder 
in jedem Gerat fest installiert sein oder durch Wechseln von 
spektralen Filtern variabel gestaltet werden. Wird eine Farb- 
darstellung nicht gefordert, ist es sinnvoll, grimes Laserlicht 

15 fur die Ruckprojektion ins Auge, wegen der hochsten Emp- 
findlichkeit und Kontrastwahrnehmung des Auges bei dieser 
Farbe, zu verwenden. 

Zusatzliche Methoden zur Signalverbesserung, die hier 
eingesetzt werden konnen, sind die Integration mehrerer 

20 aufeinanderfolgender Bilder und die Bildkorrelation, z. B. 
Bilder der beiden Augen. 

Insgesamt kann durch die Variation der zwei Parameter, 
der Verweilzeit. des Scans in den Bildpixels und der GroBe 
des Bildflecks, mit Hinzunahme des infraroten Bereiches 

25 und der Verwendung von Bildkorrelation, eine gesamte Dy- 
namik der Empfangssignale tlber sieben Dekaden erfaBt 
werden. 

Bei einer gesamten optischen Transmission des Emp- 
fangskanals von T = 0,2 (siehe Formel oben) umfaBt der 

30 Empfangbereich dieses dynamischen Aufnahmesystems 
Bestrahlungsstarken auf der Netzhaut zwischen 10" 5 W/cm 2 
und 100 W/cm 2 , was dcm Bereich der typischen Innen- und 
AuBenhelligkeit umfaBt. 

Wegen der langsamen und schnellen Augenbewegungen 

35 ist es notwendig, das Scansystem so zu gestalten, daB es der 
Anderung der Sehachse durch die Brille standig folgt, d. h. 
daB die Symmetrieachse der Bildablastung, sowohl bei der 
Aufnahme, als auch bei der Projektion, mit der Sehachse 
identisch ist. 

40 Die Erfindung sieht zur Losung dieser Aufgabe vor, daB 
vor und nach der Abtastung des Net.zhautreflexes bzw. der 
Bildprojektion ins Auge, eine Zentrierung des Kreisscans 
auf der Augenpupille durchgefuhrt wird. Dabei wird der 
groBte Abtastwinkel des Kreisscans so gewahlt, daB bei ei- 

45 ner Ablage der Scansymmetrieachse von der Sehachse die 
AuBenflache des Augapfcls, Sclera mit Regenbogenhaut 
und Pupillenoffnung von dem Kreisscan erfaBt wird. Da 
diese Teile des Auges, die vom AuBenlicht gut ausgeleuch- 
tet sind, nicht scharf, sondern diffus in der Bildzwischen- 

50 ebene des Photodetektors abgebildet werden, liefert. das 
Empfangssignal hier keine Bildinformation, sondern cine 
integrale Anzeige uber das optische Ruckstreuvermogen der 
Vorlage. 

Wenn die Empfangssignale uber zeitlich gleich lange Ab- 
55 schnitte, z. B. Quadranten, aus jedem Kreis miteinander ver- 
glichen werden, sind sie nur dann von gleicher Hohe, wenn 
die Achse des Kreisscans identisch ist mit der Augenachse 
(Sehachse). Signalunterschiede, wegen der unterschiedli- 
chen Riickstreuung aus Sklera, Regenbogenhaut und Pupil- 
60 lenoffnung, sind dann ein MaB uber die Achsenablage und 
ihre Richtung. Nach einer Normierung mit dem gesamten 
Empfangssignal uber jeden Kreis konnen diese Ablagesi- 
gnale zur Einstellung der Nullstcllung eines nachsten Kreis- 
scans (Bias) verwendet werden. Somit kann cine ursprungli- 
65 che Ablage der Achsen mit jedem Kreisscan vermindert 
werden bis sie beim Eintauchen des Kreisscans durch die 
Pupillenoffnung verschwindend gering wird (Pupiilentrak- 
king). Fig. 1 zeigl schematisch den kozentrischen Scan vor- 
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gang bei justierten System, Fig. 2 stellt den Suchmode der 
Zentrierung des Scans durch die Augenpupille dar. 

Die Erfindung sieht alternativ zur Verwendung des Um- 
gebungslichtes vor, daB auch mit der aktiven Beleuchtung 
der Laserprojektion ins Auge ein Pupillentracking ini Au- 5 
Benbezirken des Kreisscans, mit gleichzeitiger Signalaus- 
wertung im Aufnahmekanal wie oben beschrieben, durchge- 
fuhrt wird. 

Die Erfindung sieht auBerdem vor, daB auch wahrend der 
Laserbildprojcktion das sowohl von der Umgebung als auch 10 
vom Laser zuriickgestreute Licht aufgenommen und ausge- 
wertet wird. Diese gleichzeitige Aufnahme des Netzhautre- 
flexes von der Umgebung und der nachbearbeitenden Laser- 
bildprojcktion eroffnel die Moglichkeit, den Grad der Uber- 
lappung und die zeitliche Synchronisation beider Bilder 15 
standig zu uberprufen, eventuelle Unterschiede als Bildin- 
terferenzen (Moire-Muster) zu erkennen, urn diese dann 
durch Korrektursignale nachtraglich zu kompensieren. 

Die Aufnahme und Projektionstechnik im Sinne der Er- 
findung kann entweder an einem Auge eines Betrachters 20 
oder an seinen beiden Augen gleichzeitig, unabhangig von- 
einander durchgefuhrt werden. Wegen des steroskopischen 
Sehens beider Augen wird in dem letzteren Fall eine dreidi- 
mensionale Bildaufnahme und Bildwiedergabe realisiert. 

Es ist nicht ohne weiteres verstandlich, daB die Aufnahme 25 
eines fehler- und verzeichungsfreien Reflexbildes der Um- 
gebung von der Netzhaut uber eine Brille, die weder in ihren 
optischen Eigenschaften individuell an jeden Bctrachter an- 
gepaBt, noch vollstandig stabil sitzend auf dem Kopf des 
Betrachters sein kann. Die Losung hierzu im Sinne der Er- 30 
findung besteht erstens in der relativ geringen optischen An- 
fordcrungen an den seriellen konfokalen Punktscan gegen- 
uber z. B. einer flachenhaften Abbildung aus dem Auge, 
zweitens in der vollstandigen dynamischen Anpassung des 
optischen Strahlenganges des Scanners uber die Brille in das 35 
Auge, die jedesmal die Eigenbewegungen des Auges und 
der Brille selbst beriicksicht.igt., drittcns in der exakten 
Ruckkehrung des Strahlenganges zwischen Aufnahme und 
Projektion und der kurzen Zeitdauer zwischen diesen Vor- 
gangen. Zur Einstellung des Scan durch das Auge, auch bei 40 
den verschiedenen Augenbewegungen dienen zwei scan- 
nende Elemente und ein Korrekturspiegel der auch justier- 
bar sein kann. Die Fig. 3 zeigt schematisch in Ubersicht das 
ganze System. Die Netzhaut des Auges Nil wird mit dem 
fokussierten Strahl abgetastet. Hier stellt AA den Augapfel 45 
und AP die Augenpupille dar. Die teildurchlassige Brille ist 
hier mit BG bezeichnet. 

Die von der Umgebung durchgehenden Strahlen werden 
auf der Netzhaut fokussiert, gleichzeitig wird die Netzhaut 
punktuell abgetastet, wobei der Abtaststrahl in Transmission 50 
durch die Brille immer gegen eine Strahlungssenke schaut. 
Mit den zweiachsigen Abtastelementen HSS und VSS wird 
der Kreisscan durchgefuhrt. Mit dem Hilfsspiegel HS, der 
aktiv einstellbar sein kann, wird die Einfallsrichtung und 
Position des Strahles auf der Innenflache der Brille BG ein- 55 
gestellt. Mit dem Strahlumschalter SUS kann entweder mit 
einer zentralen Bohrung der beleuchtende Laserstrahl 
durchgelassen werden und der Empfangsstrahl, der meist 
wcscntlich groBeren Durchmesser hat in die Empfangsein- 
heit reflektiert werden in getrennte Richtungen geleitet wer- 60 
den, oder es kann ein aktiv umschaltendes Spiegelelement 
verwendet werden das zwischen Empfang und Senden um- 
schaltet. 

Die Empfangseinheit kann z. B. aus drei getrennten Emp- 
fangskanalen fiir die Grundfarben Rot, Grim und Blau oder 65 
andere Welleniangenbereiche z. B. im nahen Infrarotbereich 
bestehen. Der Strahlengang aller Spektralkanale wird mit 
Hilfe dichroitischer Spiegel DS auf eine Achse gebracht. 



Zur Einstellung der FleckgroBe des Abtastslrahles auf der 
Netzhaut und zur eventuellen Feinkorrektur der optischen 
Achse dient eine aktiv justierbare Gesichtsfeldblende GFB. 

Die Sendeeinheit kann z. B. aus drei Lasern mit den 
Grundfarben Rol LR, Griin LG und Blau LB gesch alien 
sein. Vor der Strahlvereinigung auf einer Achse mit dichroi- 
tischen Spiegeln DS werden die Einzelnen Strahlen entwe- 
der extern mit Bildmodulatoren MR, MG und MB moduLiert 
oder einfacher direkt iiber den Anregungsstrom der Laser- 
emission. Die GroBe und Lagc des Laserabtastflecks auf der 
Netzhaut wird mit einer aktiv steuerbaren Blende LAA die 
im Zwischenfokus zweier Linsen im Strahlengang einge- 
stellt wird. Als Empfanger fur die Abtastung der Netzhau- 
treflexbildes sind z. B. Photomultiplier geeignet, die wech- 
selweise bei sehr schwachen optischen Signalen in einen 
Photon-counting Betrieb und bei starken Signalen in einen 
StrommeBbetrieb automatisch Umschalten. Auch ist die 
Verwendung von Avalanche Photodioden als Empfanger 
moglich. 

Als Lichtquellen zur Riickprojektion der Bilder ins Auge 
sind Halbleiterlaser bzw. miniaturisierte Festkorperlaser 
vorgesehen mit einer niedriger Dauerstrichleistung (< 
300 uW), die keine Gefahrdung des Auges verursachen kon- 
nen. Mit der Verwendung von Halbleiterlasern konnte die 
Bildmodulation direkt iiber ihre Strom versorgung durchge- 
fuhrt werden. Damit aller Farben erzeugt werden empfiehlt 
sich die Verwendung von drei Lasern mit den Grundfarben 
rot, grun und blau. Wie das bekannte Farbdreieck des 
menschlichen Gesichtsinnes zeigt konnen alle anderen Far- 
ben sowie die Unfarben grau und weiB durch Farbsumma- 
tion von monochromatischen Laserlinien dieser Farben ge- 
bildet werden. Die Erfindung beinhaltet auch die Moglich- 
keit der Verwendung von einzelnen Farben als monochro- 
matische Losung vor. 

Die Erfindung sieht wie in Fig. 4 dargestellt einen Signal- 
Prozessor SP vor, der das direkte Bild von der Netzhaut 
clcktronisch bearbeitet und alle Funktionen der Vorrichlung 
sowie die von Scannern VSS/HSS, des Hilfsspiegels HS und 
Laserfleckeinstellung LAA und GroBe der Gesichtsield- 
blende GFB synchron koordiniert. Der Bildverarbeitung- 
scomputer BVC ubernimmt. dann die vom Auge wahrge- 
nommenen Bild oder Bilder anderer technischer Sensoren, 
die uber einen externen AnschluB EA dem Computer zugc- 
fiihrt werden und bearbeitet sie nach einer vorgegebenen 
Software SW, bevor sie mit Hilfe des Signalprozessors auf 
die Lascrstrahlcn als Bildsignal aufmoduliert werden. In 
Fig. 4 sind der FluB der optischen und elektrischen sowie 
der Softwaresignale getrennt dargestellt. Die komplette La- 
sereinheit wird mit DE bezeichnet, ME als Modulationsein- 
heit und PME die komplette Empfangseinheit und SUS als 
der Strahlumschalter zwischen der Sende- und Empfangs- 
einheit, 

Die Laser-Projektion ermoglicht auBer der Verarbeitung 
des aktuellen vom Computer verarbeitetes Bild in das Auge 
zu projizieren und mit dem Originalbild zu verschmelzen, 
auch Fremdbilder, die dem Computer von extern zugeleitet 
werden, dem AuBenbild im Auge synchron zu uberlagern. 
Wenn die Zeitspanne zwischen Bildaufnahme- und Projek- 
tion im Vergleich zu den schncllen Augebewegungen ent- 
sprechend kurz ist, wird das Auge, wie bei der Betrachtung 
eines Fernsehschirmes, keine Bildunterbrechung mehr 
wahrnehmen. 

Die getrennte abcr gleichzeitige Bildabtastung an beiden 
Augen erfaBt auch die perspektivischen Unterschiede beider 
Bilder. Da diese bei der Laserzurtickprojektion in beiden 
Augen erhalten bleiben, ist eine Wiederherstellung des 
raumlichen Sehens gewahrleistet. 

Die in der Rrfindung verwendelen Bauelemente sind 
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hcute weilgehend minialurisierl. und kosl.engiinst.ig crhalt- 
lich. Zum Scannen der Kreisfiguren konnen miniaturisierte 
Kippspiegel verwendet werden. Als zweite Moglichkeit zur 
Herstellung der Kreisfiguren bietet sich an die Verwendung 
von Keilplatten-Scannern, die fur einen Strahlengang in 5 
Transmission ausgelegt sind. Der durchgehende Strahl wird 
durch jede der Platten um einen festen Winkel gebrochen, 
der gesamte Ablenkwinkel kann dann durch eine feste Dre- 
hung der Keilplatten gegeneinander kontinuierlich bis Null 
eingestcllt werden. Bei einer gemeinsamen Drehung der 10 
Keilplatten mit einer festen Drehfrequenz beschreibt der ab- 
gelenkte Strahl dann eine Kreisspur. Als dritte Moglichkeit 
bietet sich die Verwendung von akusto-optischen Ablenk- 
cinhcil, die den Vorleil der geringen Tragheit und der 
schnellen Ablenkung bieten. Der variabel einstellbare Hilfs- 15 
spiegel HS wird vorzugsweise als einer mit Mikroaktorik in 
zwei Achsen einstell barer Spiegel sein. 

Fur die Einstellung des LaserfleckgroRe und des Emp- 
fangsgcsichtsfcldcs bieten sich vorzugsweise mikromecha- 
nische Aktoren wie z. B. in den weitverbreiteten Laser-Prin- 20 
ter und CD-Plattenspielern auch verwendet werden. 

Die Strahlumlenkeinheit und Scanner konnen ein einem 
einfachen Brillengestell untergebracht werden. Mit Hilfe 
von Glasfaserleitung konnen Laserprojektionseinheit in ei- 
nem kleinen Gehause z. B. in der GroBe eines Taschenbu- 25 
ches mit Betterieversorgung untergebracht werden. Der Da- 
tenaustausch mit einem externen fest installierten Bildverar- 
beitungsrechner kann entweder iibcr Radiowellen oder In- 
frarotstrahle erfolgen. Alle Elemente der Vorrichtung der 
Erfindung konnten nach dem heutigen Stand der Technik so- 30 
mit von einem Menschen muhelos getragen werden und der 
drahllose Bilddalenaustausch mit dem externen Rechner 
wurde seine unbeschrankte Bewegungsfreiheit ermogli- 
chen. 

Wie in der friiheren Anmeldung der Erfinderin Nr. 35 
1 963 1414.3 kann dieser Art einer opto-elektronischen Brille 
in den verse hiedens ten Anwendung cine Verwendung fin- 
den: 

Aufnahme von Bildern der AuBenwelt, ihre Verarbeitung, 
Zuriickprojektion und Verschmelzung mit dem Originalbild 40 
im Auge wie z. B. zur Sichtverbesserung beim Fahren eines 
Fahrzeug oder als Sehhilfe von Sehbehinderte. 

Uberlagerung von Bildern anderer Aufnahmesysteme, 
z. B. in von der gleichen Szene in anderen Spektralberei- 
chen auf das direkte Bild in gleichen Anwendungen wie 45 
heute oder zukiinftig das Helmet- mounted-display verwen- 
det wird. 

Uberlagerung von virtuellen Bildern, die alleine vom 
Computer hergestellt werden, in gleichen oder zukunftigen 
Anwendungen der "virtual- reality" oder "cyberspace" Bild- 50 
projektion. 

Patentanspruche 

1 . Bildverbesserungssystem, bei dem das Reflexbild in 55 
Inneren des Auges abgetastet wird und nach Modifica- 
tion auf dem gleichen Weg in das Auge zuriickproji- 
ziert wird nach Anmeldung Nr. 19631414.3, gekenn- 
zeichnet durch Verwendung eines Ellipsenscans. 

2. Bildverbesserungssystem nach Anspruch 1, da- 60 
durch gekennzeichnet, daB der Ellipsenscan durch Er- 
mittlung der AuBenrander der Pupille zur Justierung 
und Zentrierung des Scannersystems ohne weiterc ex- 
terne Sensoren verwendet wird. 

3. Bildverbesserungssystem nach Anspruch 1, da- 65 
durch gekennzeichnet, daB das aufgenommene Bild 
mit dem zuruckprojizierten Bild zeitlich und ortlich 
synchroniser! wird. 



10 

4. Bildverbesserungssystem nach Anspruch 2, da- 
durch gekennzeichnet, daB die Scandauer dynamisch 
an die Anforderung von Auflosung, ErfaBzeitbedarf 
und Belichtungszeit angepaBt wird. 

5. Bildverbesserungssystem nach Anspruch 4, da- 
durch gekennzeichnet, daB die GroBe des Abtastflek- 
kens dynamisch entsprechend der Anforderung der 
Umgebungsbedingungen angepaBt wird. 

6. Bildverbesserungssystem nach einem der Anspru- 
che 4 oder 5, dadurch gekennzeichnet, daB der Spurab- 
stand der Scanspuren dynamisch entsprechend der An- 
forderung der Umgebungsbedingungen angepaBt wird. 

7. Bildverbesserungssystem nach Anspriichen 1 bis 6, 
dadurch gekennzeichnet, daB die GroBe des abgetastc- 
ten Bereichs entsprechend der Anforderungen des An- 
wendungsfalles angepaBt wird. 

8. Bildverbesserungssystem nach Anspruch 1, da- 
durch gekennzeichnet, daB das aufgenommene Bild 
durch ein nachgcschalteles Bildvcrarbcilungssysl.cn) 
aufgehellt wird und dann zuruckprojiziert wird. 

9. Bildverbesserungssystem nach Anspruch 1 und 8, 
dadurch gekennzeichnet, daB das aufgenommene Bild 
durch eine Projektion des Bildes bei einer anderen Wel- 
lenlange als es aufgenommen wurde und dadurch in ei- 
nen anderen Lichtwellenlangenbereich transformiert 
wird. 

10. Bildverbesserungssystem nach Anspruch 1 und 9, 
dadurch gekennzeichnet, daB der Wellenbereich des 
aufgenommenen Bildes auBerhalb des Wahrnehmungs- 
bereiches des Auges ausgewertet wird und in den sicht- 
baren Bereich transformiert wird. 

11. Bildverbesserungssystem nach Anspruch 1 und 8, 
dadurch gekennzeichnet, daB das aufgenommene Bild 
so stark aufgehellt wird, daB die ursprunglich vom 
Auge erkennbare Schwarz-WeiB (Stabchensehen)-In- 
formation in eine Farbinformation transformiert. wird 
(Zapfchensehen). 

12. Bildverbesserungssystem nach Anspruch 1, da- 
durch gekennzeichnet, daB das aufgenommene Bild 
durch Berechnen und Moduli eren der Projektion uber 
einen geeigneten Algorithmus (Fouriertransformation) 
so gescharft wird, daB Sehfehler des Auges ausgegli- 
chen werden. 

13. Bildverbesserungssystem nach Anspruch 1, da- 
durch gekennzeichnet, daB fur die Justierung des Scan- 
nersystems ein cxterner Sensor zur Ermittlung der Pu- 
pillenposition verwendet wird, 

14. Bildverbesserungssystem nach Anspruch 1 bis 13, 
dadurch gekennzeichnet, daB das aufgenommene Bild 
hinsichtlich des Bildinhaltes ausgewertet wird um ex- 
terne Reaktionen und Steuerfunktionen zu aktivieren. 

15. Bildverbesserungssystem nach Anspruch 14, da- 
durch gekennzeichnet, daB die Bildinhalte beider Au- 
gen verglichen werden. 

16. Bildverbesserungssystem nach Anspruch 14, da- 
durch gekennzeichnet, daB die Position der Pupillen 
beider Augen verglichen wird. 

17. Bildverbesserungssystem nach Anspruch 15, da- 
durch gekennzeichnet, daB der Bildinhall der Forea 
Centralis beider Augen verglichen wird. 

18. Bildverbesserungssystem nach Anspruch 16 und 
17, dadurch gekennzeichnet, daB die Position der Pu- 
pillen und Bildinhalte der Forea Centralis beider Au- 
gen zur Ermitdung der Sehachse verwendet werden fiir 
Triangolation (Entfernungsbestimmung) . 

19. Bildverbesserungssystem nach Anspruch 1 bis 18, 
dadurch gekennzeichnet, daB die Bildinformation des 
Auges verwendet wird um die absolute FTclligkeit der 
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Umgebung zu ermif.teln. 

20. Bildverbesserungssystem nach Anspruch 19, da- 
durch gekennzeichnet, daJ3 die Bildinformation des 
Auges verwendet wird urn die absolute Farbtemperatur 
des Lichtes zu ermitteln. 5 

21. Bildverbesserungssystem nach Anspruch 1 und 2, 
dadurch gekennzeichnet, daB das System zur Ermitt- 
lung der PupillengroBe verwendet wird. 

22. Bildverbesserungssystem nach Anspruch 8, da- 
durch gekennzeichnet, daB das aufgenommenc Bild to 
durch ein nachgeschaltetes Bildverarbeitungssystems 

so aufgehellt wird, daB die physiologische Scheinemp- 
findlichkeit in einen anderen weniger empfindlichen 
Bereich verschoben wird. 

23. Bildverbesserungssystem nach Anspruch 1, da- 15 
durch gekennzeichnet, daB der Ellipsenscan von auBen 
nach innen lauft. 

24. Bildverbesserungssystem nach Anspruch 1, da- 
durch gekennzeichnet, daB der Ellipsenscan von innen 
nach auBen lauft. 20 

25. Bildverbesserungssystem nach Anspruch 1, da- 
durch gekennzeichnet, daB der Ellipsenscan durch Zu- 
sammen fallen der beiden Brennpunkle m einern Kreis- 
scan verandert wird. 

25 
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